Para encarar este problema, básicamente vamos a arrancar calculando este límite sin darle mucha bola a $a$ y a $b$, los vamos a ir arrastrando como si fueran números cualquiera... En la medida que vayamos avanzando, casi al final vamos a tener que pedirle condiciones a $a$ y a $b$ para que el límite efectivamente nos de $4$ como pide el enunciado.

$\lim _{x \rightarrow \infty}\left(\frac{\sqrt{a x^{4}+b x^{3}}}{x}-x\right)$

En principio fijate que si tomás límite ahora y reemplazas $x$ por $+\infty$ esto es un quilombo, tenés una indeterminación "infinito sobre infinito" y a eso restándole otro infinito. Entonces vamos a acomodar un poco la situación, yo arrancaría este problema escribiendo eso como una única fracción:

$ \lim _{x \rightarrow \infty}\left(\frac{\sqrt{a x^{4}+b x^{3}} - x^2}{x}\cdot\frac{\sqrt{a x^{4}+b x^{3}} + x^2}{\sqrt{a x^{4}+b x^{3}} + x^2}\right) $

$ \lim _{x \rightarrow \infty}\left(\frac{(a x^{4}+b x^{3}) - x^4}{x(\sqrt{a x^{4}+b x^{3}} + x^2)}\right) $

En el numerador podemos sacar factor común $x^4$, así queda más claro qué "número" multiplica a esa potencia de $x$

$ \lim _{x \rightarrow \infty}\left(\frac{b x^{3} + (a-1) x^{4}}{x(\sqrt{a x^{4}+b x^{3}} + x^2)}\right) $ Ahora estamos frente a una indeterminación de tipo "infinito sobre infinito" ¿Qué hacemos? Sacamos factor común "el que manda". ¿Por dónde arrancamos? Por adentro de la raíz. 

$ \lim _{x \rightarrow \infty}\left(\frac{b x^{3} + (a-1) x^{4}}{x(\sqrt{x^4 (a+\frac{b}{x})} + x^2)}\right) $

Distribuimos la raiz cuadrada, usá que $\sqrt{x^4}= x^2$ (cuando $x$ es positivo, como en este caso, si no te quedaría módulo ojo!). Después hace la distributiva en el denominador, te va a quedar:

$ \lim _{x \rightarrow \infty}\left(\frac{b x^{3} + (a-1) x^{4}}{x^3\sqrt{a+\frac{b}{x}} + x^3}\right) $

Ahora, mirá atentamente esta expresión y pensemos bien. Tenemos una indeterminación de tipo infinito sobre infinito. Hay un polinomio sobre otro polinomio. El polinomio de arriba es de grado 4 y el de abajo es de grado 3 ¿Eso a donde va a tender? A infinito... STOP, pará acá. Nosotros queremos que este límite nos de $4$, no infinito! Te das cuenta que para que este límite nos de un número, los dos polinomios deberían ser de igual grado? Y para que los dos tengan el mismo grado, en este caso grado 3, el número que multiplica a $x^4$ arriba debería ser cero! Es decir, tenemos que pedir que $a -1 = 0$, o lo que es lo mismo, $a = 1$. 

Entonces, si \(a = 1\) nos quedaría... $ \lim _{x \rightarrow \infty}\left(\frac{b x^{3} + (1-1) x^{4}}{x^3\sqrt{1+\frac{b}{x}} + x^3}\right) $ $ \lim _{x \rightarrow \infty}\left(\frac{b x^{3}}{x^3\sqrt{1+\frac{b}{x}} + x^3}\right) $ Ahora sacamos factor común \(x^3\) en el denominador: $ \lim _{x \rightarrow \infty}\left(\frac{b x^{3}}{x^3(\sqrt{1+\frac{b}{x}} + 1)}\right) $ Cancelamos las \(x^3\): $ \lim _{x \rightarrow \infty}\left(\frac{b}{\sqrt{1+\frac{b}{x}} + 1}\right) $ Tomamos límite, fijate que \(\frac{b}{x}\) tiende a cero sin importar el valor de $b$ (es un número sobre algo que tiende a infinito, eso siempre da cero). Entonces este límite nos daaa...

  $  \lim _{x \rightarrow \infty}\left(\frac{b}{\sqrt{1+\frac{b}{x}} + 1}\right) = \frac{b}{2} $ Y ahora pedimos que el resultado del límite sea igual a \(4\): $ \frac{b}{2} = 4 $ $ b = 8 $ Y con esto terminamos! Ya sabemos que el límite que nos dieron es igual a 4 si \(a = 1\) y \(b = 8\).